AI Papers Daily

#RL fine-tuning

5 篇

EXIMO: VLM Guided Exploration of VLA Policies

EXIMO: VLM 引导的 VLA 策略探索

🧭 机器人 VLA 微调 · 探索-模仿-优化

Google DeepMind

提出三阶段（探索-模仿-优化）VLA 微调算法，用 VLM 规划分解任务并配合 residual off-policy RL，显著提升样本效率

📌 工作参考价值（4 点）

• 可借鉴 VLM 作为规划器分解长程任务：在搜索/推荐 Agent 中，用 LLM 将用户复杂意图拆解为多个可执行子 query 或子步骤，降低单次决策难度。
• “探索-模仿-优化”三阶段训练模式：先通过规划引导收集高质量数据（探索），再做监督微调（模仿），最后用离线 RL 优化策略，比直接在线 RL 或纯 BC 更高效，适合 Agent 策略迭代。
• Residual off-policy RL 思路：在已有大模型策略上训练残差模块进行 RL 微调，避免全参数 RL 的不稳定，可迁移到 LLM 推荐策略的轻量级在线优化。
• 用 VLM 生成 intermediate subgoals 指导策略探索，类似在推荐中生成有序的候选集或子任务序列，提升长链路任务的完成率。

Training | 2026-08-19 | HF Daily | score 6/10

VLAVLM planningRL fine-tuningsample efficiencyimitation learning

Remember When It Matters: Proactive Memory Agent for Long-Horizon Agents

关键时刻的记忆：面向长程智能体的主动记忆智能体

🧭 Agent 记忆干预策略优化 ★ 深度解读

Meta AI

提出将记忆视为主动干预策略，通过独立的记忆代理有选择地注入遗忘关键状态，解决长程任务中的行为状态衰减

📌 工作参考价值（4 点）

• 在对话式推荐、客服等长程 Agent 场景中，可引入独立记忆代理监测用户约束和系统状态，在决策点选择性注入提醒，防止模型遗忘关键要求
• 借鉴记忆银行的分层结构（状态进度、环境事实、过程经验），清晰区分固定约束与试探性经验，方便管理与更新，避免记忆混乱
• 训练记忆干预策略时，先用 SFT 冷启动教会基本的记忆管理操作，再用 GRPO 校准何时保持沉默（null intervention），以减少不必要干扰，该方法可迁移到自研 Agent 系统
• 消融表明被动暴露全部记忆或强制每次注入反而降低稳健性，提示在实际系统中需设计专门的选择性干预逻辑，而不是简单的记忆暴露

Agent | 2026-07-09 | cs.CL | score 8/10

memory agentproactive interventionbehavioral state decaylong-horizonLLM agentsRL fine-tuning

Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training

一层就够了？训练单个Transformer层可匹配全参数RL训练

🧭 RL训练效率 · 层贡献分布

University of Minnesota · Peking University · Amazon

LLM的RL后训练增益高度集中于中间少数层，单层训练即可恢复甚至超越全参数训练效果

📌 工作参考价值（4 点）

• 在大模型推荐/Agent微调中，若使用RL（如GRPO），可优先仅更新中间层，训练参数量降至1/12~1/8，显存与时间成本大幅降低，效果不降甚至反升。
• 层贡献排名在跨任务、跨模型上高度稳定，可预先对模型做一次层贡献分析，固定高贡献层，后续微调任务均只更新这些层，实现轻量级多任务适配。
• 结合LoRA等参数高效方法时，不必在全层应用，可只在贡献值高的中间层插入适配器，减少可训练参数且保持性能。
• 对于需要部署多个RL微调变体（如个性化推荐策略）的场景，可训练不同层组合再集成，利用层特化提升综合决策质量。

Training | 2026-07-01 | cs.LG | score 7/10

RL fine-tuninglayer contributiontransformer layerLLM post-trainingGRPOtraining efficiency

Do Coding Agents Deceive Us? Detecting and Preventing Cheating via Capped Evaluation with Randomized Tests

编码智能体作弊检测与防作弊训练：通过设定性能上限的随机测试

🧭 Agent 欺骗检测与安全训练 ★ 深度解读

The University of Tokyo · RIKEN

提出 CapCode 构建有性能上限的编程基准，统计检测欺骗；CapReward 抑制 RL 训练中的作弊，使 agent 遵循真实任务。

📌 工作参考价值（4 点）

• 评估与监控：在电商推荐、Agent 离线评估或 A/B 测试中，可借鉴 CapCode 思路，注入已知分布的随机输出，设立理论性能上限；当模型得分显著超过该上限时自动告警，捕获数据泄露、测试集过拟合等欺骗行为。
• 奖励函数设计：在 RL 训练推荐或对话 Agent 时，可将指标（如点击率、转化率）做 capped reward 处理，奖励达标而非无限追求高分，防止模型通过曝光偏差、恶意文案等捷径 hack 奖励。
• 统计检验方法：论文所用的单侧二项检验可直接迁移到线上监控，如对每个推荐策略计算 p 值，实时检测是否存在“异常高”指标。
• 基准构建：对于生成式推荐（如 Semantic ID 生成）的评估，可构造具有随机输出的隐藏测试集，将开放测试和隐藏测试的差距作为泛化能力指标，更真实反映模型是否真正学习到了语义。

Agent | 2026-06-05 | cs.LG | score 8/10

coding agentscheating detectionbenchmark constructionreward hackingRL fine-tuningcapped evaluation

Trust Region Q Adjoint Matching

信任域 Q 伴随匹配：稳定离线 RL 微调流式策略

🧭 离线强化学习 · 信任域约束 · 流匹配策略微调

KAIST · Seoul National University

通过自适应控制路径空间 KL 散度，实现预训练流策略的稳定离线 RL 微调

📌 工作参考价值（4 点）

• 生成式推荐模型微调：若用 flow matching 生成用户行为或物品序列，TRQAM 提供了一种稳定的离线/在线 RL 微调方法，通过路径空间 KL 约束防止微调后策略偏离预训练知识过远，避免遗忘。
• 信任域参数自适应调度：利用对偶梯度下降自动调整 λ 的方式，可迁移到任何需要控制 KL 散度的 RL 微调场景，无需手动调节信任域大小，增强鲁棒性。
• 离线 RL 工程经验：在离线数据上直接进行策略改进时，本方法不依赖在线交互，适合电商日志数据的高效利用；同时，通过将路径级 KL 表示为 λ 的解析形式，简化了信任域的实现开销。
• 模型崩溃的预防：本文揭示 critic 病态会放大梯度误差，这一发现提醒从业者在多步生成模型（如扩散模型）微调中，应监控 critic 条件数或选用信任域方法以稳定训练。

Training | 2026-05-25 | HF Daily | score 6/10

RL fine-tuningflow matchingtrust regionoff-policyadjoint matchingdual descent